AI Papers Daily

#Attention Calibration

2 篇

From Overlooked to Explored: Recovering Item Relations via Mixture of Perspectives for Sequential Recommendation

从被忽视到被探索：多视角混合恢复序列推荐中的物品关系

🧭 序列推荐 · 注意力校准 · 多视角 MoE ★ 深度解读

Pohang University of Science and Technology · University of Illinois Urbana-Champaign

识别并缓解自注意力相似性偏差，提出多视角透镜模块恢复同构与异质物品关系，序列推荐效果显著提升

📌 工作参考价值（4 点）

• 诊断注意力失效：对线上 transformer 推荐模型，在验证集上计算 last-layer attention 与因果重要性（逐个 mask item 看目标概率下降）的 Spearman/Align@1；若出现低相关或负相关，说明注意力被相似商品主导，模型实际依赖的 item 未被看到，可作为上线前诊断指标。
• 双视角轻量插件：在 SASRec/BERT4Rec 等主干层间插入 PRISM 式模块，用一个小 router 把 item 分到 K 个语义组（noisy gating），每个 lens 只对同组 key 做 mask 并 boost logits；同一模型内自然出现 Affinity（同组强化）和 Contrast（跨组恢复）两类输出，再按 g 加权融合。适合挖掘跨类目兴趣，如跑步鞋与运动水壶、手机与车载支架。
• 工程性价比：所有 lens 共享参数，每增加一个 K 仅多 2d 参数（实验中 K=8 只比 K=2 多 768 参数），训练/推理显著快于常规 MoE；可以在已有模型上以极小成本验证收益。
• 多视角训练防塌缩：如果需要序列级对比学习，使用 same-target 正样本时建议加入 stochastic perspective masking 随机屏蔽非主视角，防止不同视角被过度拉齐；同时对各视角输出做加权 SKL 一致性约束，避免直接加权和导致表示空间冲突。这个适用于多兴趣/多专家模型。

RecSys | 2026-08-12 | cs.IR | score 8/10

Sequential RecommendationAttention CalibrationMixture of ExpertsSimilarity BiasItem RelationsContrastive Learning

LBR: Towards Mitigating Length Bias in Large Language Models for Recommendation

LBR：缓解大语言模型推荐中的长度偏差

🧭 LLM 推荐偏差缓解 ★ 深度解读

Zhejiang University · The Chinese University of Hong Kong · University of Science and Technology of China · Bangsun Technology

首次识别并缓解 LLM 推荐中输入注意力偏差和输出解码偏差，提出轻量级长度感知注意力校准与有效信息长度归一化

📌 工作参考价值（4 点）

• 在电商/搜索推荐中，若使用 LLM 基于文本描述生成候选商品，可借鉴 有效信息长度归一化 改善排序分数：利用商品标题 Trie 树约束的节点分支数计算 token 信息量，归一化时使用信息长度而非 token 长度，避免偏好短或长商品，一站式解决长短标题 bias。
• 在 LLM 输入 prompt 中，不同长度商品描述会导致长商品获得过多注意力，可借鉴 长度感知注意力偏移 方法：根据商品 token 长度在注意力 logits 中加入偏移（如 δ(l) = -log(a·l+b)），仅需两个额外参数，几乎不增加训练开销。
• 对于已采用约束解码（前缀树）生成有效商品的 LLM 推荐系统，LBR 可插件式集成，无需改动模型结构，实验显示平均 NDCG@5 提升 16.82%。
• 在搜索词推荐或 query 改写场景，也可利用 query 模板的 Trie 结构计算信息量，改进候选排序公平性。

RecSys | 2026-07-05 | cs.IR | score 10/10

Length BiasLLM-based RecommendationAttention CalibrationEffective Information LengthConstrained Decoding